Rinus trở lại Ajax vào năm 1965 với cương vị là huấn luyện viên. Dưới triều đại của ông Ajax đã giành được 4 cúp vô địch quốc gia và 3 cúp KNVB. Năm 1971 ông dẫn dắt Ajax giành Cúp C1 lần đầu trong lich sử của họ. Ở Ajax ông đã cải tiến lối chơi bằng lối bóng đá tổng lực và dùng bẫy việt vị. Sau đó ông chuyển tới FC Barcelona vào cuối năm 1971 và đẫn dắt đội bóng này đoạt cup vô địch La Liga trước khi quay lại làm huấn luyện viên của Hà Lan.

Trận đầu tiên của ông trên cương vị huấn luyện viên Hà Lan là trận hòa 1-1 với Áo ngày 27 tháng 3 năm 1974. Tại vòng chung kết World Cup 1974 "Cơn lốc xoáy màu da cam" đã thể hiện một lối chơi tấn công tổng lực đã làm khiếp sợ các đội bóng khác. Họ lần lượt đánh bại Argentina và đương kim vô địch Brasil để tiến tới trận chung kết gặp nước chủ nhà Đức. Trước trận chung kết họ đã thắng 5, hòa 1 ghi được 14 bàn và chỉ để thủng lưới 1 bàn. Và trên cương vị huấn luyện của mình ông chưa từng bị thất bại trận nào. Ở trận chung kết năm đó Hà Lan đã vươn lên dẫn trước nhưng thần may mắn đã không nghiêng về phía họ và kết quả là họ chịu thua 1-2, nhường chiếc cúp vô địch lại cho đội chủ nhà. Đó cũng là trận cuối của Michels ở đội tuyển Hà Lan trước khi ông sang huấn luyện cho Ajax.

Sau đó 10 năm ông lại trở lại huấn luyện cho đội Hà Lan. Thời kỳ này ông có trong tay những cầu thủ xuất sắc bậc nhất thế giới như Marco van Basten, Ruud Gullit và Frank Rijkaard, họ đã cùng nhau đoạt được cup vô địch châu Âu năm 1988.

Câu lạc bộ cuối cùng mà ông huấn luyện là Bayer Leverkusen của Đức năm 1989.